SceneBind: Binding What and Where Across Vision, Audio and Language
SceneBind：跨视觉、音频与语言的语义-空间绑定表征
🧭 多模态语义-空间场景表征
University of Washington · University of Texas at Dallas · Hankuk University of Foreign Studies
提出一种全模态场景表征，联合语义与3D空间理解，实现跨模态检索与目标定位
📌 工作参考价值（4 点）
- 电商多模态商品理解可参考：将商品图片构建为对象级语义-空间槽位（如衣服的款式+空间位置），提升跨模态检索的细粒度匹配。
- 轻量级空间建模（仅增加少量 token）的设计，适合对已有预训练语义编码器（如 CLIP）做低成本空间扩展，可直接迁移到商品 3D 展示或 AR 试穿中对象位置的理解。
- 语义-空间匹配（全局相似度+对象对齐）的思路可用于推荐系统的多模态融合，例如在视频推荐中同时对齐标题语义与画面中物体的空间关系。
- Agent 在真实环境中的空间感知：将环境抽象为对象槽位，可提升 Agent 对“什么地方有什么”的理解，适合电商客服 Agent 在对话中引用商品图片位置信息。